Definition Was ist Flan-T5?

Anbieter zum Thema

INFOMOTION GmbH

Flan-T5 ist eine für verschiedene Aufgaben feinabgestimmte Version des Sprachmodells T5 von Google. Sie steht wie die Basisversion T5 in verschiedenen Größen mit unterschiedlicher Parameteranzahl als Open-Source-Modell zur Verfügung und übertrifft in Benchmarks die Leistung von teils deutlich größeren Modellen.

Flan-T5 ist die Bezeichnung einer für diverse Aufgaben feinabgestimmten Version des von Google entwickelten Sprachmodells T5. „T5“ steht für „Text-to-Text Transfer Transformer“ und „Flan“ für die Feinabstimmungsprozedur „Finetuning language models“. Flan-T5 wurde in der im Jahr 2022 von Google-Forschern verfassten Veröffentlichung mit dem Titel „Scaling Instruction-Finetuned Language Models“ vorgestellt. Neben Flan-T5 beschäftigen sich die Autoren in der Veröffentlichung unter anderem auch mit dem Finetuning des Sprachmodells PaLM (Pathways Language Model) mit der Bezeichnung Flan-PaLM.

Flan-T5 steht in verschiedenen Modellgrößen mit unterschiedlicher Anzahl von Parametern zur Verfügung. Zusammen mit der Veröffentlichung der Forschungsarbeit wurden auch die Checkpoints der Flan-T5-Modelle bereitgestellt. Die feinabgestimmten Versionen der Modelle erzielen in den verschiedenen durchgeführten Benchmarks bessere Ergebnisse als die nicht feinabgestimmten Modelle und übertreffen teils die Leistung von größeren Sprachmodellen mit deutlich mehr Parametern. So zeigt sich zum Beispiel die Few-Shot-Performance deutlich verbessert.

Die Flan-T5-Modelle sind als Open-Source-Modelle frei verfügbar und können auch für kommerzielle Zwecke eingesetzt werden. Abrufbar sind sie zum Beispiel über das Google-Research-Repository bei GitHub beziehungsweise über die ML-Open-Source-Plattform Hugging Face.

Grundlagen von T5

Flan-T5 ist eine feinabgestimmte Version des großen Sprachmodells T5. T5 wurde von Google entwickelt und 2019 veröffentlicht. Es handelt sich um ein vortrainiertes Encoder-Decoder-Modell in Transformer-Architektur mit der Langbezeichnung „Text-to-Text Transfer Transformer“. T5 ist in verschiedenen Modellgrößen unter Open-Source-Lizenz frei verfügbar. Das größte T5-Modell umfasst elf Milliarden Parameter. Die Modelle sind für verschiedene Aufgaben wie Textübersetzungen oder Textzusammenfassungen einsetzbar und lassen sich für bestimmte Aufgaben feinabstimmen. Trainiert wurde T5 mit großen Datensätzen an Text- und Coding-Daten.

Die verschiedenen Größen der Flan-T5-Modelle

Wie die Grundversion T5 ist auch Flan-T5 in verschiedenen Modellgrößen verfügbar. Die fünf verfügbaren Modellgrößen sind:

• Flan-T5-Small (80M) mit 80 Millionen Parametern

• Flan-T5-Base (250M) mit 250 Millionen Parametern

• Flan-T5-Large (780M) mit 780 Millionen Parametern

• Flan-T5-XL (3B) mit drei Milliarden Parametern

• Flan-T5-XXL (11B) mit elf Milliarden Parametern

Vorgehensweise des Google-Research-Teams bei der Flan-Feinabstimmung

Die Flan-Feinabstimmung setzt auf den vortrainierten T5-Modellen auf. Diese Modelle wurden anschließend für eine ganze Reihe verschiedener Aufgabenbereiche feinabgestimmt. Informationen über die genauen Aufgabenbereiche und exakten Details der teils recht komplexen Feinabstimmung können der Forschungsarbeit entnommen werden. Die Forscher skalierten das Finetuning auf bis zu 1.836 Finetuning-Tasks. Die Auswirkungen der Anzahl der Finetuning-Tasks auf die Leistung der Modelle wurde untersucht. Das Finetuning erfolgte per Anweisungen mit und ohne Musterbeispiele und mit und ohne Chain-of-Thought (CoT). Insgesamt erforderte die Feinabstimmung per Anweisungen nur einen Bruchteil des Rechenaufwands des Pretrainings der Modelle.

Mögliche Einsatzbereiche für Flan-T5

Die feinabgestimmten Flan-T5-Sprachmodelle sind für eine ganze Reihe von Anwendungen einsetzbar. Potenzielle Anwendungsfälle sind zum Beispiel:

• das Prompt- und eingabebasierte Generieren von Text

• die Klassifizierung von Text in verschiedene Kategorien

• das Zusammenfassen von langen Texten oder großen Textdokumenten

• das Analysieren der Stimmung von Texten (Sentiment-Analyse)

• das Beantworten von Fragen

• das maschinelle Übersetzen von Texten in andere Sprachen

• die Realisierung von Konversations-KI-Systemen wie Chatbots

Die Performance der Flan-T5-Modelle im Vergleich zu anderen Modellen

Durch das anweisungsbasierte Finetuning der T5-Grundmodelle zeigen die feinabgestimmten Flan-T5-Sprachmodelle in fast allen Aufgabenbereichen eine deutlich verbesserte Leistung. Signifikant sind die starke Few-Shot- und Zero-Shot-Performance der Flan-Modelle. Die Modelle erzielen in einer ganzen Reihe von NLP-Aufgaben (Natural Language Processing) eine gesteigerte Performance.

Zur Messung der Leistung und zum Vergleich mit anderen Sprachmodellen unterzogen die Google-Forscher die Flan-T5-Modelle verschiedenen Benchmarks wie MMLU (Massive Multitask Language Understanding), BBH (BIG-Bench Hard), TyDiQA (Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages) und MGSM (Multilingual Grade School Math Benchmark).

In den Benchmarks MMLU, BBH und MGSM zeigt sich Flan-T5 circa zweimal besser als die jeweils nicht feinabgestimmten T5-Modelle. Im Vergleich zu anderen Modellen ergeben die Benchmarks, dass Flan-T5 in verschiedenen Aufgabenbereichen einige größere Modelle mit teils deutlich mehr Parametern schlägt. So übertrifft Flan-T5-XXL mit seinen elf Milliarden Parametern in einigen BIG-Bench-Aufgaben zum Beispiel PaLM 62B mit seinen 62 Milliarden Parametern. Flan-T5-Large und Flan-T5-XL mit ihren 780 Millionen beziehungsweise drei Milliarden Parametern zeigen bei einigen Aufgabenstellungen ähnliche Leistungen wie GPT-3 mit seinen 175 Milliarden Parametern. Zudem übertrifft Flan-T5 aktuellere Modelle wie PaLM oder LLaMA.

Darüber hinaus zeigt sich, dass Flan-T5 hochgradig anpassbar ist. Entwickler können die verschiedenen Modellgrößen an ihre spezifischen Anforderungen anpassen. Die Effizienz und die Geschwindigkeit der Modelle machen sie zudem für den Einsatz in Echtzeitanwendungen und auf lokalen Systemen interessant.

(ID:50087829)